KL Regularization

참고 : Regularization, Normalization, Standardization, Generalization

VAE의 Regularization Error라고 보면 된다.

Li(ϕ,θ,xi)=−Eqϕ(z|xi)[log(xi|gθ(z))]+KL(qϕ(z|xi)||p(z))

해당 Loss에서 뒷항이 Regularization Error이다.
하나의 샘플링 함수에 regularize 시켜서 high variance를 최대한 줄이고자 한다.